MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems
MemTrace：大语言模型记忆系统的错误溯源与归因
🧭 Agent 记忆系统错误诊断 · 执行图归因 ★ 深度解读
Zhejiang University · Alibaba Group
将记忆流水线转化为执行图，通过图遍历定位最早故障操作，实现跨会话错误自动诊断与自动提示优化
📌 工作参考价值（4 点）
- 记忆系统可观测性：通过 smartcomment 工具将任意记忆流水线的变量与操作依赖记录为执行图，可在电商对话 Agent 中定位记忆丢失、错误更新等故障。
- 细粒度错误归因：MemTrace 的图遍历优先检查早期操作，避免在长程交互中盲目搜索；引入源证据和系统先验知识能显著提高操作定位准确率（+12% OIA），适用于推荐系统的对话记忆调试。
- 自动提示优化闭环：将错误归因作为 credit assignment，只对故障操作涉及的局部 prompt 进行优化，避免在长轨迹上做全局优化；即使归因不完美（72.5% OIA），仍能带来 7.62% 的端到端性能提升，适合在线自动修复。
- 执行图的结构化诊断：生成的诊断报告可汇总不同记忆系统（RAG、Mem0、EverMemOS）的薄弱点，例如提取模块丢失细粒度信息、重排序模块失效等，可指导电商记忆架构选型与迭代。